大模型落地征程：兴奋、现实和难题｜智涌深度
文｜武静静
编辑｜苏建勋
“2023年只有十几个项目，2024年，上半年还没结束，已经在服务100多个项目。”众数信科创始人兼CEO吴炳坤告诉36氪。
2021年创业时，吴炳坤选择的方向是智慧城市相关，2023年，看到了大模型技术带来的机会，吴炳坤迅速转型，借助原有的数据能力积累，瞄准大模型轻量化和本地化落地方向。
距离ChatGPT初现已有一年多，吴炳坤能感受到，更多企业在真正看到大模型发展对于自身业务价值的价值，也愿意亲自上手试试。
吴炳坤有一家客户是某个地方的食品加工生产商，以前，他们只能依靠人工，按照食品监管要求，审核产品的成分、引导语、规范警示用语等信息，如今，上了大模型之后，审核员只需要和AI对话，提出问题，就可以批量作业，效率大大提升。
更多企业方在用开放的姿态拥抱大模型。中国“鞋王”百丽时尚集团正在把大模型融入货品管理、销售、客服等各个环节，让AI不仅深度参与到调货、管理，还成为独当一面的数字员工。
比如，在“补货”这个业务场景。以前，百丽内部需要人员自己填表格、发邮件、找审批等环节，费时耗力，至少要花3天多的实践，有了大模型之后，在百丽时尚与钉钉合作打造“补货群”，补货全流程可以实时反馈，随机应变，效率明显提升。
这种大模型带来效率提升的案例比比皆是，已有数据表明，大模型技术正在带来一次生产力水平的大跃迁——在红杉美国发布的 Generative AI研究报告中，这波生成式AI为代表的大模型技术在出现后的一年时间，创造了近30亿美元的总收入 ，其中还不包括科技巨头和云厂商间接通过 AI 产生的收入，这是SaaS行业花了近10年时间才达到的水平。
红杉认为，“ 未来，AI 的一大机遇将是软件替代服务。如果能够实现这一变革，AI 的市场潜力将不是数千亿美元，而是数十万亿美元级别。”
巨大的机会前景诱惑着每一家科技公司。关于“落地”的讨论无处不在，几乎出现在在每一次投资人、企业、产品经理关于大模型的讨论中，有人甚至将2024年称为大模型落地元年。
吴炳坤和百丽属于技术的乐观派，他们愿意“尝鲜”新技术，认为大模型是实现“提质降本增效”的新利器。
但放眼市场各方的态度，还有更多企业对大模型的态度是复杂的，有兴奋，但也有更多的疑虑和担忧。
36氪探访发现，有的企业一直在观望，不敢下场，认为大模型技术尚不成熟，且在细分行业落地面临数据、成本等重重挑战；有的企业虽然持有很开放的态度，但是对于大模型落地形式疑问重重——大模型和场景结合的产品长什么样？在什么场景先落？技术可靠性如何解决？——这些都让他们对大模型望而却步，或只愿意在小范围内测试部分边缘产品。
共识尚未形成，各类观点和话题在持续发酵，大模型落地的风正在起势，AI的触角也正在从产业的某个单点延伸到更广的范畴。
本文将从三个主要问题展开，讨论大模型落地当下的机会和挑战：
大模型落地谁先受益？因何受益？
企业对大模型的疑虑和隐忧有哪些？
什么是大模型落地的关键挑战？
1. 最先从大模型受益的人
从落地实践来看，企业对大模型的需求不只局限在某个固定场景，而是在研发、销售等方方面面。
目前大模型落地呈现了一幅“广撒网”的图景：大模型正在沿着行业轴和场景轴双线并行，和不同的领域和环节产生新的化学反应——在行业端，融入金融、教育、医疗、制造、零售等领域，在场景端，融入研发、生产、财务、人力、营销、等各个环节，用技术改造旧模式，撬动新增量。
降本提质增效是第一波使用大模型的人尝到的新甜头。
首先是金融行业，行业大模型成为标配。目前，行业诞生了至少18个10亿参数以上的金融行业大模型。银行、券商、保险公司等金融机构纷纷参与其中，度小满、恒生电子、蚂蚁集团等金融科技公司纷纷入局，工商银行、农业银行、中国银行、交通银行、招商银行等9家银行正在研发大模型的应用。
恒生电子首席科学家、大模型产品总监白硕告诉36氪，“调研100多家金融机构使用大模型的进度发现，到2023年12月，大模型应用情况为，10%已在上线阶段，25%在立项阶段，25%在测试阶段，40%还处于调研阶段。”
目前基金公司、金融机构、保险公司对大模型的需求优先级集中在三类：基于机构自有数据库和知识库的问答；智能投顾投研Chat助手；针对文档的挖掘和问答。目前，恒生电子的大模型产品当中，落地最多的就是智能投研平台WarrenQ。
风控安全的质量提升是金融行业刚需。在风控的环节，大模型可以更好地识别风险、预警风险与控制风险。比如腾讯云的金融风控大模型，整体的反欺诈效果比通用模型提升了20%左右准确度。也将传统的样本收集、模型训练到部署上线的建模时间，从以前的2周缩短到仅需2天。
降本增效也是金融客服场景看中大模型能发挥价值的地方。在金融智能客服板块，大模型技术能够有效降低成本，提高服务质量，容联云告诉36氪，他们的容犀Copilot就落地在银行中，与传统AI相比，大模型将客服对客户意图理解的准确度从68%提高到91%。通过精准定制回复话术，大模型能帮助人工客服节省80%的时间成本。
从这些实践可以看出，大模型和行业、场景的化学反应也首先从知识密集度更高的地方展开，大模型充当的是降本提质增效的利器，可以直接创作文章、图片、视频和音频，也可以是独当一面的员工，回答各种问题。
同样，在法律行业，大模型改变了合同智能审核的技术路径，不仅提高服务质量和效率。同时，大模型也为这些to B公司带来的新的商业化空间——让他们从周期长、人力成本高的定制化项目中解脱出来，服务更多的用户。
以幂律智能的合同审核产品为例，此前公司服务对象是大型企业的法务部门。引入大模型之前，不同企业合同信息差别太大，公司需要针对不同企业，做定制化，跑通梳理审查需求-合同数据收集-数据标注-小模型训练-审查点实现等全流程，内部团队也要亲自参与到数据标注、小模型训练等环节。
如今，由于法律大模型出色的文本理解能力，可以直接对合同进行理解分析，原先的数据标注和小模型训练等环节被法律大模型直接替代，只需要通过提示词的方式就可以完成审查点定制。
“在一些场景效率提升了十倍以上。”幂律智能CEO涂存超告诉36氪。
他提到，此前一个审查点就需要标注大量合同数据、训练小模型，平均一个审查点定制需要10人天（人工工作日）的人力成本。现在单个审核点只需要花半天时间，时间周期大大缩短，也进一步降低了定制化项目过程中人力成本。
2. 更多需求端的现实拷问：ROI、产品、效果
与技术乐观派截然不同，对技术的新鲜感过后，如今，还有很多企业在考察大模型技术时，开始用更现实主义的目光来“审视”这项新技术的价值。
“企业想要的不是大模型这项技术，而是能否在增收、降本、增效上做的更好。”纪元AI创始人梁军告诉36氪。
榜单多少分，排名多少，参数量多大，这些都不是企业真正关心的问题。在前期考察中，大模型会面临一个个现实的拷问：“ROI怎么算？”“能不能增收”“产品能不能解决我目前的痛点？”
现实主义的其中一面反应在愿意花多少真金白银上大模型，“用户想要一个定制化的大模型，花费都在大几百万以上，市面上用户可接受的成本则在5万到200万之间。”一位从业者告诉36氪。最终让步的一定是技术方，目前，市面上大模型部署的成本已经卷到几十万。
一名法律科技公司员工表示，各地基层法院每年的总预算通常只有百万级别，不可能全部花在大模型项目上，因此他们在开发上优先追求“小而美”，即使用大模型对一些已有功能进行升级迭代，再进行封装，以几十万元的价格售卖给法院。
在医疗、法律等领域，对大模型的成本有一个更简单直观的考量：如果聘请一个实习生（比如实习医生或实习律师），就能完成大模型现阶段能干的事情，而且人力比大模型更安全、不出风险，那么企业有什么动力花重金购置一个大模型呢？
直接调用API是更标准化，成本相对较低的解决方案，但是对于很多手握行业专有数据的企业而言，API接口难以满足垂直场景用户需求，出于数据安全的考量，他们更希望用私有化的方式，把数据把控在自己手中。
此外，数据也是一个关键因素。针对特定企业任务和应用的数据，实际上掌握在企业自己手中。许多大型企业不愿意将自己的领域数据公开，金融行业就是典型，出于数据安全的考量，金融行业对私有化部署的需求更高，涉及的项目周期长，导致大模型落地的整个时间周期和成本都很长。
对企业来说，这些都是巨大的现实难题，除非企业高层决心要发展大模型，才可能干成这件事。但更多人在摇摆和观望。去年2月初，一家运营商公司找某头部AI公司了解大模型，那会许多人都不了解大模型，国内连文心一言都未发布。然而直到年底，这家运营商还没真正开始推进，原因是公司老板一直在犹豫，没有确定到底由谁负责，该如何去做。
现实主义的另一面最终还是回归到B端应用本身。
“企业会为先进的技术鼓掌，但是只会为靠谱的产品买单。”纪元AI创始人梁军说。
由于大模型落地仍处在“拿锤子找钉子”的阶段。如果对具体的产品没有思考，就需要技术方和企业方共同经历漫长的探索期。或者只能选择从自身外围的一些业务场景开始，逐步渗透到核心业务。有人笑称，这无异于“用大炮打蚊子”。
另一个落地的难点在于通用大模型和真正的行业应用之间有着巨大的鸿沟。梁军认为，直接调用基础的大型模型并不能满足特定的需求。例如，在智能投放领域，不同品类的运营需要解决的专业问题各不相同，如果不对特定领域的数据进行专门处理，就无法实现有效的应用。
如何解决底层的基础大模型和上层具体应用之间的鸿沟，不同公司解法不一。
有的大模型公司选择自己做，跑通端到端的全流程服务，有的选择和第三方公司合作。梁军的答案是Agent作为中间层来弥合底层模型和上层应用，提升大模型在具体任务召回率、准确率等应用领域的能力。
“这个中间层应该是一个Agent 平台，不仅可以支撑Agent在某个场景的应用，还可以支持大规模生产和部署 AI Agent，以满足不同行业和场景的企业需求。”梁军说。
不同的观点在持续交锋，技术和应用之间，这是一片空白地。一切都还在摸索中。
3. 更大的挑战：数字化基础是天然屏障
大模型在带来更有想象空间的未来，但现阶段，在中国的本土实践中，更多企业面临的现实是，大模型不是空中浮木，需要借助数字化的土壤才能在企业内部扎根生长。
“在数字化基础建设不足的情况下，大模型起不到任何作用。”一位CIO告诉36氪。
在他看来，数字化基础是大模型技术在场景中发挥价值的一道天然屏障。有了数字化基础，大模型不仅能够提质增效，创造一些全新的，大模型原生的新体验和新应用。这个背后的逻辑是：AI的功能越强，覆盖的业务环节越多，闭环越完整，发挥的效能越大。不仅能在企业工作流中“打辅助”，还可以独当一面。
最明显的就是在零售行业，大模型出现之后，诞生了一个个数字员工，他们可以做直播、做导购，还能成为数据中枢“管家”，指导采购、销售、企业管理。
百丽时尚就推出了供门店店员使用的AI助理。店员通过与AI对话的方式，快速进行货品查询、调货、管理库存等，服务顾客的效率进一步提高。这些背后都是由于此前集团已经建立一整套数字化体系，能够做到对数据的随取随用。
相反，如果一家没有任何数字化基础的企业想要用大模型，不仅成本高昂，且见效会极慢。
一位工程师告诉36氪，此前在给一家建筑国企做数字化时，由于该公司体量庞大，且不重视企业数据，导致大模型落地的第一步要从头梳理数据、分类汇总管理数据，再搭建专有云，这样初步达到数字化至少要花两三年时间。
一位正在为国内某顶级医院开发辅助诊疗系统的医疗从业者告诉36氪，他发现，打造医疗大模型过程中，获取数据是最大的难点。
“医院有大量的数据，但都在内部，要想调用非常费劲。”他举例，有次为了拿到一批国家传染病数据中心的数据，他需要打各种申请，签各种保密协议，花了很长时间。
他认为，“做医疗大模型，最核心的问题就是你的数据从哪儿来，如果搞不定这件事，模型效果就很难保证。”
这不仅是技术方需要解决的难题，也是使用大模型的场景方需要自己完善的功课。
“即便AI技术再先进，它也仅是众多应用中的一种。”前述CIO提到，多年的数字化实践中，他总结的经验是，在借助大模型等数字化工具的同时，企业需要做好基本功。
“信息化建设是一个逐步构建的过程，需要从基础层面一层层地进行。如果没有扎实的信息化逻辑或数据化逻辑作为支撑，仅仅依靠单一的功能来满足所有用途或应用是不现实的。”这才是属于企业自身的内功，也是技术无法触达的深水区。
由此可见，大模型最终的源头，还是回归到数字化本身。对于所有的公司而言，数字化的建设并非一朝一夕之事，而要让大模型发挥其潜力，必须日积月累，先培养好数字化基础的土壤，才能让技术真正扎根于企业之中。